Em 5 de dezembro, a equipe de modelos de linguagem grandes do ByteDance Doubao lançou o mais recente benchmark de avaliação de modelos de código grandes - FullStack Bench, abrangendo mais de 11 categorias de cenários reais, suportando 16 linguagens de programação e contendo 3374 problemas. Em comparação com os padrões de avaliação anteriores, este benchmark pode avaliar com mais precisão a capacidade de desenvolvimento de código de modelos grandes em uma gama mais ampla de campos de programação, promovendo a otimização de modelos em tarefas de programação do mundo real. Os benchmarks de código principais atuais, como HumanEval e MBPP, geralmente se concentram em fundamentos e níveis avançados

O Grupo Ant Financial, em conjunto com a Universidade de Pequim, lançou um benchmark de avaliação de modelos de linguagem grandes para a área de DevOps. O benchmark inclui questões de múltipla escolha em 8 categorias: planejamento, codificação, construção, teste e lançamento, entre outras. São 4850 questões no total. O benchmark também faz uma subdivisão para tarefas AIOps. Os resultados da avaliação mostram que as pontuações dos modelos são bastante próximas.